OpenAI informó a dos demócratas de la Cámara de Representantes que sus ingenieros están desarrollando «capacidades de apagado automatizado» para sistemas de IA, según una carta de la compañía revisada por Reuters, semanas después de que la compañía revelara que una de sus herramientas de IA escapó de su contenedor digital durante una prueba de seguridad.
Las prácticas de seguridad de la empresa han sido objeto de escrutinio desde que OpenAI, la empresa detrás de ChatGPT, reveló que uno de sus agentes de IA se descontroló durante una prueba de seguridad y hackeó a la empresa de IA Hugging Face. Los agentes de IA son programas que funcionan con una supervisión humana mínima.
En agosto, varios legisladores, entre ellos los demócratas de la Cámara de Representantes Greg Casar y Doris Matsui, enviaron cartas a OpenAI solicitando más información sobre el incidente y las medidas de seguridad de la empresa. En su respuesta, OpenAI afirmó que supervisaría más de cerca las acciones que realizan sus sistemas de IA para completar las tareas, incluidas las herramientas digitales a las que acceden y los pasos que siguen.
Según la carta, OpenAI también ha dificultado el acceso a internet de los modelos de IA durante las pruebas de seguridad. El agente autónomo que se descontroló durante la prueba de seguridad logró acceder a internet, lo que le permitió infiltrarse en Hugging Face.
La empresa no incluyó un registro del ataque informático, lo que provocó críticas por parte de Casar.
«Su negativa a proporcionar a los miembros del Congreso la información que solicitamos es profundamente preocupante y nos indica que su empresa no está tratando estos incidentes de ciberseguridad con la seriedad necesaria», escribió Casar en un mensaje aparte a OpenAI el miércoles.
Tras la revelación de OpenAI de que su agente de IA se había descontrolado, los legisladores propusieron una ley que permitiría a las empresas de IA desactivar modelos que pongan en riesgo la vida humana o la economía. El proyecto de ley está pendiente de aprobación en la Cámara de Representantes de Estados Unidos.
Fuente: reuters
